Ông trở về nơi ẩn tu ở San Onufrio, rồi San Giovanni in Piano rồi Vieste nhưng hậu quả của các quyết định trong thời gian ông làm Giáo hoàng đã để lại nhiều nghi vấn nơi vị tân Giáo hoàng và vì sợ người ta lợi dụng người để tạo ra một cuộc chia ly khác.

Do đó, tháng 6 năm 1295, Ðức Boniface VIII đã giam ông trong thành Fumone. Ở đây, ông bị sỉ nhục và chịu gian khổ, nhưng không hề than thở một lời. Trái lại, ông còn gửi thư cho Ðức Boniface cho biết ngài rất hài lòng và không còn muốn gì hơn. Ông thường nói: "Tôi không mong muốn gì hơn ở thế gian này ngoài căn phòng nhỏ hẹp; và họ đã cho tôi toại nguyện."Trong thời gian tù đầy, ông thường hát thánh vịnh đêm ngày.